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<fi) Verfahren zur Stereobild-Objektdetektion 
X . •*" • 

® Die Erfindung beziehtsich auf.ein. Verfahren ,zur Detektion 
und gegebenerrfalls Bewegungsverfolgung yon Objplcten 
mittels Stereobildauswertung. ' 1 " 

ErfindungsgemaS wird a us dem jeweils aufgenommenen 
Stereobildpaar ein Strukturklassen bildpaar erzeugt, wobel 
fur jeden Btldpunkt die HelDgkertsdifferenzen ausgewahKer 
Umgebungsbildpunkte als Digrtalwerta ermtttelt und letztere 
zu einer jeweillgen Digttalwertgruppe zusammengefaSt wer- 
den, wobei jeweils identisohe Gruppen eine eigene Struktur- 
kJasse definieren. Die Strukturklassen mit langs der Epipol- 
arllnia fehtender Helligkeitsdnderung werden verworfen. Fur 
die Bildpunkte der ubrigen Strukturklassen werden zugehori- 
ge Disparitatswerte bestimmt und mit einem gegebenen 
Haufigkeitsinkrement in einem Disparitatshistogramm akku- 
muliert. Die zu einem jeweiligen Haufungspunktbereich dee 
- Histogramms gehdriga Blldpunktgruppe wird dann als ein zu 

>detektierendes Objekt interpretierL 
Verwendung z. B. zur Objektdetektion im Stra&enyerkehr als 
HitfsmitteJ zur autonomen Langs- oder Querfuhrung von 
Fahrzeugen. 



ui 

a 



BUNDESDRUCKEREI 09.97 702 147/383 



18 



DE 196:36 028 : C1;0 
1 2 

..... Beschreibung r ( : r . ren Gebrauch macht. Fur die Badauswertung werden 

Die Erfindung bezieht sich auf ein Verfahreri zum / geschnhtene Teduiikeh eingesetzt, Welche Fahrzeug- 
Detektieren und gegebenenfalls auch zum Verfolgen konturmodeUe verwenden.' Fur ein erkanntes Fahrzeug 
von Objekten mittels Aufnahme und Auswertung von 5 ' wird die zugehorige Disparitat und daraus die Fahrzeu- 
Stereobildem. En solches Verfahren ist beispielsweise ' gentf ernung ermittelt. i. f r , . " 

nutzlich als Hflfsmittel zum. automatisierten Fuhren von Der Erfindung liegt ais techiusches Problem die Be- 
StraBenfahrzeugen oder auch auf dem Gebiet der R07 reitstellung ernes Verfahrens zur Stereobild-Objektde- 
botik, wo es jewefls darauf ankommt, relevante Objekte tektion zugrunde, das . sich besonaers fur die oben ge- ' 
zu detektieren und deren Position und GroBe zu bestim- 10 nannten Anwemiungsfalle mh vereinf achten Randbe- 
men. Im Fall der autonomen Fahrzeugfuhrung, z. B. im dingungen eignet und vergieichsweise effbdent und ro- 
stadtischen Stop&go-Verkehr, sind neben stehenden bust ist. : i x 

Objekten, die sich im Fahrberetch des Fahrzeugs befin- Die Erfindung lost dieses Problem durch die Bereh- 
den, auch alle bewegten Objekte im naheren Umfeld zo steflung eines Verfahrens nut den Merkmaleu des An- 
detektieren. Hingegen ist fur derartige Anwendungen 115 spruchs 1. Bet diesem Verfahren wird aus dein aufge- 
keine vollstandige, dichte Tiefenkarte der Szene erfor- 1 nommenen Stereobildpaar zunachst ein Stnikturklas- 
derlich. So kann meist von einer retativ ebenen Grund- senbSdpaar erzeugt, indem fur jeden BOdpunkt ale Hel- 
flache und dendich erhabenen Objekten ausgegangen ligkeitsdifferenzen zu yorgegebenen Umgebuugsbfld- 
werden. Es brauchen zudem keine Detail friformatioiien, punkten in digitaler Form ermittelt und die Digitalwerte 
wie die genaue Form eines vorausfahrenden Fahrzeugs, 20 in einer yorrjestimmten Reihenfolge zu einer Digital- 
abgeleitet werden. Derartige vereinfachende Randbe- wertgroppe zusainmengefaBt werden. Jede der ver- 
dingungen gelten analog fur erne Vielzahl von Problem* . schiedenen inoglichen Gruppen deioniert dabei eme ei- 
stellungen auf den Gebieteu der Robotik und der Ober- gene Strukturklasse. AnschlieBend wird eine vergSeichs- 
wachungstechmk. ' ■ - ; ■ weise effektiv durchfQhrbare, zweckmaBig einfach ge* 

Die Verfahren zur Stereobud-Objektde tektion iassen 2$ staltete Korrespondenzanalyse durchgefOhrt; bei der al- 
sich in flachenbasierte Methoden und merkmalbasierte - le Struktarklasseu unbenlcksichtigt bJeUben, die in Rich- 
Methoden unterteilen. Flachenbasierte Methoden sind : rang der EpipolarGnie, dh. zur Linie sich entsprechen- 
z. B. in den Konferenzbehragen K. Sane Ybshi, 3-D una- ■ der Bildpunktpaare eines jewefligen gememsamen Ur- 
ge recognition system by means of stereoscopy combi~ ' ' '■■ bUdpunktes, kemen Stnikturgradieaten zeigen. 
ned with ordinary image processing; Intelligent Vehicles' 3® Dies sind diejenigen Stnikturklassen, deren Bildpunk' 
'94, 24.10.1994 bis 26.10.1994, Paris, Seiten 13 bis 18 und ""te sichinihrer-Helligkek nicht um ein vargebbares MaB 
L. Matthies et al, Obstacle detection for unmanned ; von der Heffigkeit der in FJriifung der Epipolarlinie 
ground vehicles : a progress report. Intelligent Vehicles fiegenden Umgebungsbfldpuakto uBterscheiden.' Da- 
'95, 25y26j&9.i 995, Detroit; Seiteh 66 bis 71 beschrieben. durch wird bsreits am merklicher Bi!d\^^behungsauf- 
Sie erforderti einen hdheVeu Rechenaufwahd als merk* 35 wand eingespart ;la dieser Richtung verSaufende Stmk- 
roalbasierte Methoden. PCi 1 eine j Gberblick uher gangi- ^ turen eignen sich syst£mbedi£igt bei der merkmaisba- 
ge Stereobiid <>bjeirtQ^tekUoasve3fahrea set auf das sierten Stereobiidawvertung ohnehin nicht zur Eatfer-. 
Buch O. Faugeras, Tlirce-Omiensionai Goiiiputcr VI- nungsbeytiminuag. Zu aHe& Obngen Sb-ukturklassen 
sion, MIT Press, 1993 verwiesen. r - • v • . werden dann Disparitatswene korrespbndierender 

Aus der Offenlegungsschriri DE4431 479 Al ist ein #5 Bildpuziktti gleicher StruUturklasse ermittelt, die in ei- 
Verfahrcn zur Detektion von Objekten, insherondere nem Disparitatshlstogr^mm zu eineen. jtwefligeo. IiSii- 
Fahrzeagen, bekannt, bei dem von einem jeweaigen Be- - figkeifcsweri akkumuliert werden. OptsonaS kann fflr jis- 
reich z^ei BUder aus verahiedenen BUckwinkelii aidge> : des kotrespondierende Bildpunktpaar der zugeh5rige 
nommen werden. Aus cinem VergSeich der bciden Bit J Disparitatswert mis einem gewichteten Hiufigkeitsin- 
der, insbesondere deren Grauwerte, wird fur minde- krement in das Histogramm. eingehec; AsschfieBend 
stens einen Teilbereich jeweQs dann ehi Objekt erkaant 1 ' wird das Histograms auf HSufungspuiiktbereiche un- 
wenn der Unterschied zwischen den beiden BOdem fQr tersucht Zu festgestelhen, interessierenden Haufungs- 
den betreffenden Teilbereich gr&Ber als eine vorgege- v ; punktbereichen wird dam umgckehrt die zugehorige 
bene Schwelle 1st:! ' : " V BUdptrafctgruppe emes zugehorigen Strukturklassenbil- 

Bei einem in der Offenle^ungsschrift DE 43 OS 776 A£" ^> des dargestellt und als in einer bestimmten Entfernung 
off enbai tea System zur Uberwachung eines faluzeu- befindliches Objekt interpretiert Es zeigt sich, daB die- 
gextemen Zustandes ist eine Stereobild-Objektdetek- ses Objektdetektionsyerfahren fur viele Anwendungs- 
tion vorgesehen, durch die ein jeweiliges Objekt inner- 1 Mue sehr effekthr arbehet und robuste, d h. wenig stor- 
halb einer festen Region aufierhalb eines Fahrzeugs ab- anfaiiige Resultate liefert . . 

gebiklet wird Die auf genommenen Bilder werden einer 53 Sei einem nach Anspruch 2 weitergebSdeten Veifah- 
Bildverarbeittmg?vorrichtung zugefuhrt; welche eine \ ren wird eine ternare Logik zur Digitalisierung der Hei- 
DistanzvmeSung uber das gesamte Bild hinweg be- ligkeitsdifferenzen verwendet, was eine fQr die hier be- 
rechneL Um ein jeweiliges Objekt im linken und. rechten trachteten Anwendungen sehr vorteilhafte, wefl einer- 
Bild aufzufinden, wird das jeweilige Bild in kleine Regio- sehs ausreichend differenzierte und andererseits ausr ei- 
nen unterteilt, und es werden Farb- oder Helhgkettsmu- 60 . chend schnell dHirchfuhrbare Smikturklassinzierung er- 
ster innerhalb dieser Regionen fur die beiden Bilder mogiicht f . ' 

vergUchen, um die Regionen mit sich entsprechenden Bei einem nach Anspruch 3 weitergebildeten Verfah- 
Objektdetans herauszufinden und daraus die Distanz- ren werden als Umgebungsbildpunkte die vier Bild- 
verteOung uber das gesamte Stereoblld zu bestimmeiL punkte gewahlt, die an den jeweiligen BezugsbQdpunkt 
In der Offenlegungsschrift EP 0 626 655 A2 ist eine 65 - zum einen parallel und zum ahderen senkrecht zur Epi- 
Enricbning zur Erkennung vorausfahrender Fahrzeuge polarlinie jeweils beidsette direkt angrenzen oder yon 
und zur Besthnmung von deren Entfemung beschrie- - diesem um eine vorgebb?xe Abgriffweite beabstandet 
ben, die von einem Stereobild-Objektdetektionsverfab- . angeordnet sind Eine Abgriffweite in der GroBe eines 
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oder evenmeD auci mer^ Fig. 1 ein von einer Stereokameraanordnung eines 

Einbeziehung ernes' ^6er/n^ - . 

was in Fallen zwecj^BFgjst; in denen.$ic)i die Helligr' Ffe^eSne schematische DarsteUungderzur Auswer- 
keitsgradienten typis^erj^eise Ober eiheri Bereich meti-i ' tung der Stereobflder gemafl Fig. 1 verwendeten Struk- 
rerer Bildpunkte hinweg ersrrecken. .. n , . turklassifizierung, 

Bei einem nach Anspruch 4 r wyitergebildeten Verfah- • \ Fijgp. 3 eine Grauwertdarstettung des durch die Struk- 
ren jst der erforderupne $erecnnungsaufwand weitef rurklpssifrzieruhg gemafi Fig. 2 aus dem finken Stefeo- 
dadurcb verringert, a^^elne^Disparitaten favorisiert bild von Fig. 1 erhaltenen Strakxurklasseribildes, 
werden, indem zu jedem fetildpunkt des einen Struktur- c Fij£ 4 ein durch Korrespondenzanalyse der beiden, zu 
klassenbildes nur die mmimale Disparitat, d h. die Ent- 10 den Stereobfldern von Fig. 1 gehorigen Strukturklas-, 
fernung des nachstgelegenen Bfldpunktes gleicher' j; . senbilderojerhajtenes Disparitatshistogramm mit meh- 
Sirukturklasse im anderen Strukturklassenbild, ermit- reren Hautogspunkten, : 

telt un.d fur die ErsteDung des Disparitatshistogramms . Fig. 5 erne DarsteQung der mh einem ersten Hau- 
berflcksichtigt wird* Die zugnmdeliegenide Annahme j 5 fungspunkt Von Fig, 4 Yerknupften Bfldpunktgruppe 
der Favorisiening kleiner Disparitaten und damit gro- und ^ \ 

Ber Objektentfernungen ist tnsbesondere bei derVer-- Fig. 6 eine Darsteflung der mit einem zweften.Hau- 
wendung in Fahrzeugen fur die Betrachtung yon Stra- V fungspunkt von Fig. 4 verknupften Bilcipunktgruppe. 
Benszenen mh ihrenTelanv groBen Hindernissen ange- : Fig. 1 zeigtxm Sterebbildpaar la, lb, das erne tvpi- 
messexL Mit dieser Yorgehensweise <wird zudem das - sche StraBenverkerireszene wiedergibt Ziir kpntiniuer- 
Auftreten voii nahen Phantomobjekten bei der Korre- J? lichen Aufnahme des Verkehrsgeschehens vor einem 
spondenzanalyse unterdiiid^,wie":sie durch: ~weit ent- Fahrzeug anhand solcher Stereobildpaare lay lb ist an 
fernte, periodische Strukturery i B, Hauserfrpnten, gc dem Fahrzeugin heikdmmlicher Weise eine, nach vorn 
neriert werden konnen. V i .r .i ^ ^ * / " gerichtete Stereokameraanordnung angebracht, deren 

Bei einem nach Anspruch 5 weitergebildeten Verfah- - optische Achsen vorzugsweise parallel zueinander aus- 
ren wird jedem Bildpunkt seben der die Heffigkeitsdif- gerichtet und horizontal gegeneinander versetzt sind In 
ferenzen reprasentjerenden Pigitarwerigruppe ein die diesem Fall bilden die zugehdrigen Epipolarlinien, d h. 
GroBeder aufgetretenen Heffi^eitsritfferenzen starker diejenigen Lmien, entlang denen der zu einem gemein- 
differenzierender Kpntrastwert zugeordnet, der ah Ge- . samen Urbildpunkt gehSrige Bildpunkt im einen, Ste- 
wichtsfaktor :zur BOdungiieinesTgewichteten Haufig- reobild gegenUber dem entsprechenden Bildpunkt im 
kehsmkrementes yerwendet wbd Fur jedes korrespon- / anderen Stereobild versetzt sein kann, gleichzeitig je- 
dierende BHdpunktpaar, fflr iias ein Disparitatswert er- n weilige Bfldzeilea des Stereo-Bildpaares la, lb, was die 
mittelt wird wird dann selbiger nut dem kontrastabhan- :i; spatere - Disparitatsauswertung ^ besonders einfach; 
giggewichteten Haufigkeitsinl^ment.zu^ / macfat ©ie StereobSdaberwachung, des, Verkehrsge- 

histogramm akkumuliert Dadurch werden kontrastrei- ^ schehens yor dem Fahrzeug laBt sich insbesondere zum 
che Strukturen starker bei der BUdauswertung-tberGck- ? automatisierten FG^ren (jeES.Fahrzeugs in Langs- und/ 
sichtigt, was das jGnmdrauschen vermindert , ->\ . \ ■? ^ ; i . ?. oder Querrichtung bzw. znr Warnung vor auftretenden 

Bei einem nach Anspruch 6 weitergebildeten Verfah- ... Hindernissen, wie, anderen Fahrzeugen und FuBgaa- 
r en wild die Ob j^ktdetektion durch eine Bailungsanaly- , y . gem, verwenden. Interessierende Objekte sind bei dem 
se der. alszu einem jeweOigen Objekt gehoriginteiprc- J -jStereobadpaar la, lb von Rg. 1 folglich vor allem das 
tierten Bfldpunktgruppe erweitert, die einerseiti ausrej- ; ™ auf derselben Fahrspur- vorausfahrende Fahrzeug 2 k>- 
chend einfach gestaltet ist und anderersehs eine yerbes- ■■• '? wie 4sin auf: einer benachbarten Fahrspur bermdfiches 
serte Lokahjsierung und Bewegungsverfolgung des Ob^ . ■> - Fahrzeug 3L Ziel des nachfolgend naher beschriebenen 
jektes eriaubt ■;>. ^ , ; : v, . .v v . r^i:' i,- J Objektdetektionsverfanrens ist es vor allem, selbsttatig 

Bei einem nach Anspruch 7 ; weitergebildeten Verfat : ^die Lage dieser beiden Objekte %, 3 bezogen auf das 
ren wird anschliefiend an die Detektipn eines pbjektes. % eigeneFahrzeugraschundzwerlassigziierm : - 

eine kontinuierliche Bewegungsverfolgung desselben - Hierf0r wird jedes der beiden Stereobflder la, lb in 
durchgefuhrt, indem ale erfindungsgemaBe.pbjektde- ein entsprechendes SriTukturklassenbUd mhtels einer 
tektion beschrankt auf einen minimalen, das detektierte . . . SuTiktmklassifrxierung transformiert, wie sie in Fig. 2 
Objekt enthaltenden Kubus zyklisch wiederholt durch- sc|iernatisch angedeutet ist. Fur jeden Bildpunkt x der f 
gefuhrt wird Die Beschrankung auf den hierfur jewefls f 0 ^ beiden. Stereobilder la, ;ib, wird^eme Umgebungsbfld- 
relevanten Bildbereich spart nicht nur Rechenaufwand^ . , : ' 1 punktmenge defmiert, die im Fall yon Fig. 2 aus den vier 
ein, sondern reduziert vor atiem auch den EinfluB sto- in Zeileri* und Spalteiuichtung, d t parallel und senk- . 
render Hmtergrundobjekte. Aufierdem braucht nur . , recht zur horizontalen EpipolafUnie, nachstbenachbar- 
noch.ein relativ kleiner Bereich von D^an&tswerteh ten Um^ebungsbildpunkten x& tii xa» xs besteht Wenn 
ausgewertet werden, wobei die zugehorige Tiefe des 55 sich ifiese Wahl der Umgebung^biTdpunkte alszu Iokal 
Kubus von der maximal zu erwartenden Entfernungsan- N . erweist, kanh altemativ efai grofierer Nachbarschaftsbe- 
derung bestimmt ist * , *• ' " reich yon Umgebungsbfldpunkten bzw. ein Satz weher 

Ein nach Anspruch 8 weitergebildetes Verfahren eig- entferntei Umgebungsbildpunkte gewahlt werden. Bei 
net sich fur StraBenf ahrzeuge und beinhaltet ein plausi- Wahl eines grdBeren Nac^arschaftsbereiches, die eine ' 
bles StraBenmodeD, das es gestattet, Strukturen. der 60 kubische Steigerung der Anzahl von Str^turklassen 
StraBenoberflache mit hpher Zuverlassigkeit herauszu- impliziert und die Enipfmdlichkeh beziiglich der jewefls 
RltenvwasdUeDetektionyonObjektenim Bereidi u^^ gewiUtei Helli^dtsschwelrwerte anwachsen laBt, ist 
der StraBenoberflache erleichtert und/oder das zuver- die Auswertung in einer Gaufipyramide von VorteiL Zu- 
lassige Erfassen von FahrbalmmarkierUagen zur auto- "• hHedensteUende Ergebnisse werden durch eine rechen- 
nomen Fahneug<rueifimrung erai6glicht i *^ 5 t&hnisch ; weniger aufwentfige Erhohung der Abgriff- 

Erne yorteilhafte. Ausfuhrungsform der Erfindung ist weite erzielt, d h. ansteDe der in Fig. 2 "gewahheni in 
in den Zeichnungen ilhistriert und wird nachfolgend be- : Zeileh- und S pah enrich rung direkt benachbarten * Urn- 
schrieben. Hierbei zeigen: ' " f geburigsbildpunkte ^ werden dann solche gewahlt, die- 
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zum Bezugsbildpunkt x einea Abstaad von einem odei 
einigen wenigen Bildpunkten besttzen. -r .">-.■'; 

In jedem Fail wird dann paarweise die Heffigkeit des 
Bezugsbildpunktes x rait denjenigen des jeweiligeh Um- 
gebungsb fldpunktes Xo bis xs unter Vorgabe eines posi- 
tiven Helhgkehsschwellwertes T in digitalisiertcr Form 
gemaB eine Ternartogik verglichen, wobei als . Ver~ 
gleichsergebnis ein HeiHgkdtsdifferenz-Digitalwert d 
(xi) m Form einer jeweiligen Ternarziffer gemaB nach- 
folgender Bezi ehung generiert wird: 



to 



l; wenn g(x l )-g(x)<T * 
2, wenn g- (x^ - g (x)><: -T , 
0 , sonst „ 
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wobei g(x) die Helligkeit des BcuigsbiWpunktes mid 
g(xi) mh i =»0^ ...» 3 die Helligkeit des jeweiligen Umge- 
bungsbildpunktes vsL Die vier zu einem jeweOigen BQd- 
punkt x in dieser Weise ermittelten Temarzifferii d(xo) 
bis d(xj) werden dann zu einer Gruppe in Form einer 
Temarzahl C der Form : ^ 
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zusantmengefaBt^ wie in der rechten Halfte von Fig. 2 
veranschaukcht FQr die so gebUdete Temarzahl C sind 
emundachtzig imterschiedliche Werte mdglich, von de- 

nen jeder cine eigene Strukturklasse definiert Anstelle . _ 

der vortiegend beschnehenen. te^ Be^j^bfidpanktes wird 

der Hclfigke i Lsuute^srfuede . . kommen auch artdere erfaBt und als zugehdriger '' Dispantatswert in ' einem 
Mehrwm-Dighalismrung^ > Dispan^^pgran™ ^ und zwar in einer 



StraBenoberflache Hegende Bildbereich als nicht inter- 
essierend ausgeblendet werden. Fin gunstiges Answer- , 
tefenster ist beispielhaft im Hnken Stereobild la von 
: Fig. 1 mit dem dortigen weifien Rahmen 4 angedeutet 
Mit der Wahl dieses Ausweitetensters 4 wird be* der 
vorliegenden Bildszene die Men:»£ an fur die anschlie- 
Bende Korrespondenzanaryse zn benlcksichtigenden 
Bildpunkten auf 13% aDer -Bildpunkte. reduziert, und 
zugleich werden Stored Husse d*ireh Disparitatsf ehlbe ♦ 
stimm unpen vermieden, die auf ausgeblendete Bildbe- 
reiche zurOckgehen. . ' f 

An die Erzeugung des StrukturkJassenbildpaare* 
schlieBt sich eine vereinfachte Korrespondenzanaryse 
an, die zwar keine bfldpunktweise eindeutige L5sung 
des Korrespondenzproblems darsteflt, jedoch mit ent- 
sprechend geringerem Rechenaufwarid ausreicbend zu- 
veriassige Ergebnisse fOr die hier.in Betracht kommen- , 
den Anwendungen Kefert, bei denen die reievanten, zu 
detektierenden Objekte Stmkturen mit zur Eprpolarti- 
i nie im wesentUchensenkrechten HeQigkeitsgradienten 
beshzenp was nicht nur fur Fahrzeuge, sondern auch fur 
die meisten stehenden Objekte und' msbesondere fur 
* FuBganger gilt Dazu wird im einzehien wie folgt vorge- 
-■gangenl/.. .. r - }l . .. r ' \ •. t', 1 . 

Zu jedem Bildpunjct im einen Strukturklassenbild als 
Bezugspunkt wird innerhalb eipes ybrg^ebenen Dispa- 
ritatsintervafl nach auf der entsjprechenden Epipolarii- 
nie als der maBgeblichen Suchricbtung liegenden Bild- 
punkten derselben Sjarlkturldass^;im anderen Struktur- 
klassenbQd gesudit Wegeri der"p>rallelen _ optischeii 
t Achsen der BUo^ufsiahmekameras und der horizontal; 
. versetzten Anora^un'g'deWeU^ sich im ; vorlie^ 

genden Beispiel eine in Baoieilenrichtung verlaufende 
Suchrichtung.'Die Enrfeniung eines jeweus aufgefunde- 
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den bei einer nur binaren Digitalisierung Gradientenih- 
formationenp die ein wichdger Bestandtefl der nachfol- 
genden Kjorrespondenzanalyse sind, unterdruckV wah- 
rend hdherwertige Digitalisierungen einen ^vJerhohten 
Rechenaufwand zur Folge haben. . . / . , r , V ' 

Fig. 3 zeigt das Ergebnis .der - l Staikmrfclassifi^don ^ 
fur das linke Stereobild la von Fig. 1, wobei als Gesamt- 7. 
helligkeitsumfang das InteryaU [0^55] und ein Hellig- 
keitsdifferenzschwelrwert von J ^20 gewahk wurderi. . 
Zur besseren Veranschatilichung wurden die ermittel- 
ten Ternarzahlen C mh dem Faktor drei multipliziert 
und invernert, so daB die- zur Strakmrklasse mit der 
Ternarzahl C=0 gehorigen BHdpunkte in Fig. 3 weiB 
erschsinec. Aus Fig. 3 laBt sich erkennen> daB aufgrund 
der durcb den HelligkehsschweUwert T eingebrachten 
Nich^inearhat eine betrtchtliche Datenredukdon er- 
zieh wird. Im Bild von Fig; 3 gehoren etwa 50*#> aller 
Bildpunkte der Strukturklasse mit C»0 an. Weitere 
25% der Bildpunkte gehdren zu sogenannten horizonta- 
len Stnikturklassen, das sind jene mit horizontalen 
Srrukturen, bei denen d(K S )=d{xi)=0 ist Solche hori- 
zontalen Stnikturklassen sind fur die Auswertung Von 
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ersteh Alternative ungewichtet, <L h. die Haufigkeit im 
Histogramm wird fur jeden Disparitatswert pro Auftre- 
ten desselben um etns erhohl In einer zweiten Altema- 
trve' ( ^ini'ein"den Bfldxontrast' berficksichtigendeSj ges 
wicifetes^Hau^kei^itoe^ent verwendeL Dazu wird 
fur jeden Bildpunkt x ein lokales KohtrastmaB aus den 
ermittelten Helliikeitsdifferenzen generiert, z-B. ein 
K^ntrastrnaB K(x) der Form ^ ^ : . 

I wobei N die Anzahl der Umgebungsbfldpunkte angibt, 
deren Helligkeit uin mehr ak der HeUigkehsschwell- 
wert T von der BezugspunkthelE^eit abweicht, und bei 
der Summation. auch nur dies T e Umgebungsbildpunkte 
beriicksicbtigt werden. Damit erhalt der emzelne Bild- 
punkt ein Kontrastgewicht, das es eriaubt, kontrastrei- 
che Stmkturen bei der Disparitatsanalyse zn betonetu 
Eine Moglichkeit, dieses KontrastmaB in der Erstellitng 
des Disparitatshistogranms zu berucksichtigen, bestehi 



Stereobildern mit der voiiiegend horizontal gewahlten W darin, den zu einem jeweiligen korrespondlerenden 



Epipolarlinie nicht nutzbringend und werden daher bei 
der weiteren Bildauswertung nicht mehr beriicksichtigt. 
DemgemaB brauchen nur noch 25% der Bildpunkte ei- 
ner Korrespondenzanaryse unterworf en v/erden. Durch 
Auswahl eines geeigneten Auswertefensters laBt skh 
diese Bildpunktanzahl unter Erhohung der Auswertesi- 
cherheit weiter steigern. So kann z. B. im vorliegenden 
Fall der merklich uber dem Horizont und damit der 
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Bfldpunktpaar ermittelten Disparitatswert nicht mit 
dem Haufigkeitsinkrement eins, sondern mh einem um 
das Minimum der zu den beiden kbrrelierenden Bild- 
punkten gehorigen Kontnastwerte erhdhten Haufig- 
keitsinkrement in die Histqgnmmierzeugung eingehen 
zu lassen. Dies ergibt eine scharfere Trennunjg der Hau- 
figkeitspunktbereiche^ <Lh. der Peakbereiche, im resui- 
tierenden Disparitalshistogranm voni Untergrundrau- 
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Fig. 4 zeigt das durclTden eriauterten Disparitatsana- r>± skalierte Brennweite und d den jeweiligen Dtsparitats- 
tysevorgang %1 unter Verwendung des ungewichteten ^ wert bezeichnen. AnschlieBend kann das detektierte 
Haufigkeitslnkrementes eins aus dem Bereich des Aus- • Objekt bei Bedarf kontinuierlich weiter beobachtet, d h. 
wertefensters 4 erhahene^Disparitatshistogi-amm mit verfolgt werden. Dazu wird einleitend eine einf ache Bal- 
Disparhatswerten zwischen dull und zweitiundert Da- lungsanatyse vorgenommen, bei der ein rechteckfonni- 
bei wurden zu jedem Bezugsbfldpunkt im einen Struk- ges Fenster minimaler Hdhe und Breite so im resultie- 
turbildafie in Richtung der ehtspfechenden Epipolarli- renden Objektbild analog den Fig. 5 und 6 positioniert 
nie liegenden Bildpimkte im anderen Strukturbild be- wird, daB darin ein vorgegebener Mindestprozentsatz 
rucksichtigt Alternativ dazu hat sich fur den vorliegen- 10 von z. B. 90% der gefundenen Bildpunkte enthalten ist 
den Anwendungsfall der Beobachtung des Strafienver- Da die obige trigonometrische Beziehung fur die Ob- 
kehrs die 'Favbrisieruhg kleiner Disparhatswerte als jektentferaung L wegen der Diskretisierung der Dispa- 
vorteQhaft erwiesen, was mit einer Bevorzugung groBer rkatswerte vor allem bei kleinen Disparitaten eine rela- 
Entfermmgen korreliert Denn in koraplexen StraBen- . - nv grobe Naherung darsteUt und in diesem Fall fur die 
szenCT bedmgeri haufig period — Bestimmung von Bewegungsvorgangen noch nkht opti- ) 

die Hauserfront 5 im Stereobfldpaar la, lb von Fig- 1, 1 - mal ist, kann es zudem zweckmaBig sein, eine verbesser- 
ein starkes Rauschen im Disparitatshistogramni, indem - te, einer subbfldpunktgenauen Messung entsprechende 
sie wegen ihrer Periodizitat sehr nahe am Kameraort * Disparitatsschatztmg vorzunehmen, bei der zum Spit- 
stehende Phantomobjekte vprtauscheri. Dem wird _ zenwert ernes jeweiligen Disparit3tshaufungspunktbe- 
durch die Favorisierung groBer Entf ernungen wirksam '; reiches ein Korrekturt erm der Form 
begegnet. In einer einfaciien ui^ ' ' u ? ' 1 -\ 

schiebt dies dadurch, daB bei der ;Disp 

jedem BezugsbQdpunkt hn einen Strukturklassenbild - - " i: 't ' 1 . 
nur der diesem auf der Epipolariinie nachstgelegene hmzuaddiert wird, wobei hm den Spitzenwert und h+ 
Bildpunkt derselben Strukturklasse im anderen Struk^ 25 bzw. h- die Disparhatshdhen im jeweiligen Settenbe- 
turklassenbOd berflcksicbtigt wj^ Diese Vbrgehens- reichbezeichnen. 

weise erweist sich fur die;Beobachtufig des StraBenver- , Nach der solchermaBen bewerkstelligten Objektde- 
kehcs bei deri praktisch auftretendefi StraBenszenen mit : tektion mh Bestmimung der Entfernung und der unge- 
ihren relativ grpBen Hinderju^en als zulassig und we- fahren Ausdehnung des jeweiligen Objektes wird in der 
gen der dadunA bedingten Emsparung an Rechehzeit *j nachfolgenden Verfolgungsphase eine auf den rdevan- 
und derUriterdrSclt^ ten, gerade noch das zu beobachtende Objekt enthal- 

teilhaft Alterna^'zu dem.i^ '] tenden Bildbereich beschrankte BUdauswertung nach 

mensionaje'n Ifctogjramjii kann! bei Bedarf ein dretdi-, dem beschriebenen Verf ahren in zyklisch wiederhoher 
mensionales ! Pisp^ritatshistbgramm Die erfindungsgemaBeri Verfah- 

Tief ezikarte angef ertigt werden, bei dem als zusatzliche rensmafinahmen enndglichen typische Verfahrenszy- 
Hfoogra ^W^ g-ftM- lat^rale Offfi*>t dfk jeweiBgeri;B&> klen : ybn ledigHch : groBenordnungsmaBig zwischen 
zugsbOdpunktes zur , Badmittelachse herahgezogea : ' . J 1 OOih&und 200ms, verglichen mit typischen ZyklusZeiten 
wird. . ' - , ' V l * .! ' aurwemfig^rer StereobilQ^uswei^everfahreii von meh- 

Nachdem lias, r^paritatshistogramm in der einen ^ reren Sekunden. Durch die Bfldbereichsbeschrankung 
oder anderen Form erstellt wurde, wird dieses' auf HaU- wird nicht nur Rechenzeh eingespart, sondern vor allem 
fangspunktbereiche hin l untersucht In Fig. 4 sind yon auch der EinfluB storender Hmtergnmdobjekte redu-^ 
den ausgepra^en.HaiifigkeitspuhJabereichen die zwei . . ziert Von zentraler Bedeutung ist daB nur noch ein 
di, dz mit den hochsten Disparitatswerten markiert, wpr . relativ 'kleiner Disparitatsbereich ausgewertet werden 
bei der eine, d|, ein em Disparitats-Spitzenwert yon etwa muB, indem tun das zu yerf olgende Objekt gedanklich 
28 und der andere, d^ einem Disparitats-Spitzetnwert : 45 ein Kiibus gelegt wird, dessenTiefe von der maximal zu 
von etwa 15 entspricht Jeder solche Haufigkeitspunkt- erwartenden Entfernungsanderung abhangt * 
bereich sollte einem Objekt im Bepbachtungsbereich. ^ Die laterale Position eines interessierenden Objektes 
entsprechen. Um dies zu verifizieren uhd dadurch die '*** laBt sich fur die Spurverfolgung mittels Strahlensatz 
Objektdetektion zu vervoDstandigen, werden anschlie- beispielsweise aus der lateralen Position des Bfldmittel- 
Bend in zur Disparitatsanaryse. umgekehrter Richtung 50 punktes oder alternanV des BQdschwerpunktes ermit- 
diejenigen Bildpunkte eines Strukturklassenbild es wie- telrL' ZweckmaBigerweise werden die erhaltenen Resul- 
dergegeben, die zu einem jeweiligen Disparitatshau- ; tate einer ublichen Kalman-FHterong nnterworfen, um 
rungspunktbereich gehoren. So sind in Fig. 5 die zu dem ^ durch BerQcksichtigung des Wissens fiber die etnge- 
Disparitat5haujrungspunktbereicli di mit dem Dispari- ' schrankten Bewegungsmpgfichkeiten zu optimalen Re- 
tats-Spitzenwert 28 gehdrigen Bildpunkte und in Fig. 6 55 sultatenzugelangen. 

die zu dem Disparhatshaufungspunktbereich d2 mit dem Um StraBenoberfiachenstivktureii 7 von den Struktu- 
Disparitats-Spitzenwert 15 gehdrigen Bildpunkte dar- * ; ren von Qber der StraBenoberflSche befmdHchen Ob- 4 
gesteDt Wie daraus zu erkennen, gibt Fig. 5 bereits jekten zu isolieren, kann ein emfaches StraBenmodefl 
recht gut das auf der gleicfien Fahrspur vorausfahrende Verwendung finden, bei dem -eine ebene StraBenober- '■ 
Fahrzeug 2 wieder, wahrend das auf der anderen Fahr- f° fiache und parallele optische Achsen der Stereokame- 
spur befmduche Fahrzeug 3 das Bfld yon Fig. 6 domi- raanordnung angenommen werdea Fur die zu erwar- 
niert Es kann daraus geschlossen werden, daB <£ese : tende Disparitat dE(x,y) eines Bildpunktes mit den Kbor- 
beiden Fahrzeuge 2; 3 zu diesen beiden Disparitatshau- : dinaten (xy) in der Bildebene ergibt sich dann aus der 
f ungspunktbereichen di, d 2 gehOren. ' . ^ Kanierahohe H fiber der Fahrbahn und dem Karaeran- 

Aus dieser Zuordnung eines endgfildgen Disparitats- , ' eigungswinkel a gegenuber dem Horizont die Bezie- : 
wertes zu einem jeweiligen Objekt kann die * Entf ernuhg hung': 

L des letzteren von der Stereokameraanbrdhung durch \ - ^ V *' ' ..»•.'.*--. 

die Beziehung L=f x : B/dehnittelt werden, wobei B den d E (x ? y) => (B/H)f x ((y/fy)cosa+sinaX - • ^ r 
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wobei fx und f y die skalierten Brennweiten in den betref- 
fenden Koordinatenrichtungen und B die Basisweite der 
Stereokameraanordriung bezeichnen. Zur Extraktion 
der StraBenoberflachenstrukturen tragen unter diesen 
Voraussetzungen nur Punkte unterhalb des Horizontes 5 
beL Dabei liegen alle Bildpunkte mit Disparitatswerten, 
die innerhaib eines bestimmten IntervaQs urn den Er* 
wartungswert liegen, auf der StraBenoberflache, wah- 
rend diejenigen mit grofieren Disparitatswerten zu Ob- 
jekten fiber der StraBenoberflache gehoren und diejeni- to 
gen mit zu kieinen Disparitatswerten von Reflexionen 
wetter entf emter Objekte herruhren. 

Je nach AnwendungsraU kdnnen fur die Objektdetek- 
tion zusatzlich Symmetrieubeiiegungen verwendet 
werden, die den Rechenaufwand verringern und die De- 15 
teknonssicherheh erhdhen kdnnen. In jedem Fall er- 
moglicht das erfmdungsgemaBe Verfahren eine bei ge- 
gebener Detektionssicherheit sehr rasche und robuste 
Objektdetektion und laBt sich zur optischen Echtzeit- 
Objektbeobachtung im StraBenverkebr, auf dem Gebiet 20 
der Roborik und Qberall dort einsetzen, wo Bedarf an 
einer stereobildbasierten Detektion und gegebenenfalls 
Verfolgung von Objekten besteht. 

Fatentanspruche 25 

t. Verfahren zur Stereobild-Objektdetektion, ins- 
besondere fur StraBenfahrzeuge, gekennzeichnet 
durch f olgende Schritte: 

a) Erzeugen eines Strukturklassenbildpaares 30 
aus dem jeweiligen aufgenommenen Stereo- 
bildpaar (la/ lb), indem fur jeden Bildpunkt (x) 
die Diflerenzen zwischen dessen Helligketts- 
wert (g(x)) und jedem der HeUigkeitswerte 
(gfrOi^O, » n-1) einer Anzahl (n) vorgege- 3$ 
bener Umgebungsbfldpunkte (xo, . . . , Xn— i) als 
Digitalwerte (d(xj}) bestimmt und die erhalte- 
nen Digitalwerte zu einer Digitaiwertgruppe 
(Q zusammengefaBt werden, wobei jeweils 
identische Dighatwertgruppen eine eigene *> 
Strukturklasse definieren, 

b) Durchfuhren einer Korrespondenzanalyse 
des Stnikturklassenbildpaares, bei der 

b. 1) nur diejenigen Strukturklassen beruck- 
sichtigt werden, deren Bildptmkte wenigstens 45 
einen in Richtung der Epipolarlinie liegenden 
UmgebungsbQdpunkt mit urn eine oder meh- 
rere Helligkeitsdigitalstufen unterschiedlicher 
Helligkeit beshzen, 

b, 2) fur jeden Bildpunkt einer jeweils noch so 
berucksichtigten Strukturklasse des einen 
Strukturklassenbildes die innerhaib eines vor- 
gebbaren Disparitatsintervalls auf der Epipol- 
ariinie liegenden Bildpunkte derselben Struk- 
turklasse des anderen Strukturklassenbildes 55 
aufgesucht und der zugehfirige Disparitats- 
wert ermhteh wird und 
b. 3) die dadurch insgesamt erhaltenen Dispari- 
tatswerte entsprechend einem zugeordneten 
Ha'ufigkeitsinkrement in einem Disparitatshi- 60 
stogramm akkumuUert werden, und 

c) Identifizieren von Haufungspunktbereichen 
(di, d2) un erzeugten Disparitatshistogramm 
und Extrahieren eines jeweuigen Objektes aus 
der zum jeweiligen Haufungspunktbereich ge- 65 
hdrigen Bfldpunktgruppe- 

2. Verfahren nach Anspruch 1, weiter dadurch ge- 
kennzeichnet, daB zur Digitarwertermittlung im 
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Sehritt a ein Temarsystem verwendet wird, wobei 
den HeUigkei^difTerenzen,'die"ietragsmaBig Klei- 
ner gleich einem vorgegebenen positiven Hellig- 
keitsschwellwert (T) sind, eine erste Ternarziffer, 
den /HeUigkeitsdifferenzen,;: die, grdBer als der 
SchweUwert sind, eine zweite ^ Ternarziffer. und den 
HeDigkeitsdifferenzen, die kleiner als das Negative 
(— T) des Schweilwertes. sindV die dritte der drei 
Ternarziffem zugeordnet wird. 

3. Verfahren nach Anspruch 1 oder 2, wetter da- 
durch gekennzeichnet; daB als Umgebungsbild- 
punkte (xo bis x 3 ) jeweils zwei auf gegenfiberfiegen- 
den Seiten des jeweiligen Bezugsbildpunktes (x) 
zum einen parallel und zum anderen senkrecht zur 
Epipolarlinie Degende Bildpunkte verwendet wer- 
den, die dem BezugsbHdpunkt direkt benachbart 
oder von diesem urn eine vorgebbare Abgriffweite 
beabstandet angeordnet sind. 

4. Verfahren nach einem der Anspruche t bis 3, 
weiter dadurch gekennzeichnet; daB das vorgebba- 
re Disparitatsintervall fur die Korrespondenzana- 
lyse so gewahlt wird, daB zum jeweiligen Bildpunkt 
im einen Stnikturklassenbild nur der nachstliegen- 
de Bildpunkt auf der Epipolarlinie im anderen 
Stnikturklassenbild berficksichtigt und der diesbe- 
zugtiche Disparhatswert im Disparitatshistogramm 
akkumuliert wird. 

5. Verfahren nach einem der Anspruche 1 bis 4, 
weiter dadurch gekennzeichnet, daB jedem Bild- 
punkt des Strukturklassenbildpaares zusatzlich zur 
jeweiligen Digitaiwertgruppe ein in Abhangigkeit 
von den HeUigkehsdifferenzen ermittelter Kon- 
trastwert (K(x)) als Gewichtsfaktor zugeordnet 
wird und der zu einem jeweiligen Bildpunktpaar 
ermittelte Disparhatswert mit einem in Abhangig- 
keit von den zugehorigen Kontrastwerten gewich- 
teten Haufigkehsinkrement zum Disparitatshisto- 
gramm akkumuliert wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, 
wetter dadurch gekennzeichnet, daB die Extraktion 
des jeweuigen Objektes aus der zu einem jeweili- 
gen Disparitatshaufungspunktbereich gehorigen 
Bildpunktgruppe eine BaBungsanalyse der Bild- 
punktgruppe umfaBt, mit der ein Rechteck minima- 
ler Flache ermittelt wird, das einen vorgebbaren 
Prozentsatz der Bildpunkte dieser Bildpunktgrup- 
pe enthalL 

7. Verfahren nach einem der Anspruche 1 bis 6, 
weiter dadurch gekennzeichnet, daB nach erstmali- 
ger Extraktion des jeweiligen Objektes aus der zu 
einem jeweuigen Disparitatshaufungspunktbereich 
gehorigen Bildpunktgruppe eine Bewegungsverfol- 
gung desselben mittels wiederholtem Ausfuhren 
der Schritte a bis c emgeschrankt auf den Bereich 
eines minim alen, das betreff ende Objekt enthalten- 
den Kubus durchgef uhrt wird 

8. Verfahren nach einem der Anspruche 1 bis 7 zur 
Detektion von Objekten im StraBenverkehr, weiter 
dadurch gekennzeichnet, daB unter der Annahme 
eines im wesentlichen ebenen StraBenverlaufs und 
paralleler optischer Stereokameraachsen diejeni- 
gen Bildpunkte, deren zugeordnete Dispari tatswer- 
te innerhaib eines vorgegebenen Erwartungsbe- 
reichs urn einen der fblgenden Beziehung genfigen- 
den Disparitatserwartungswert (dg) 

dE(x,y) - (B/H)f x ((y/fy)cosa+sinaX 
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' Hegen^ wobei B die Basisweite' tier Stereokame- ; v - ■ : ' ■ - : : - 2 

raairordnung;H deren Hohe uber der StraBenober- t.-; . • v j r 

' flache, a deren Nickwinkel relativ ziir StraBenober- 
flache, fx und f y die laterale- bzw. vertikale Kamer- n 
abrennweite and y die ^ von der optiscfaen Achse - 

' nach unten weisende 7 BOdvertikalkobrcfiiiate dar- ^ r ,: 

.'stellvals emerfObjekt der .StraBenoberflache 

i gehorigmterpretiert we^eii 1 j; 1 ' ' ^ 

~r. ~ : — TTT. — t— : — ' 10 J- ^ 

J : , s ffierzu2Sehe(h) ZeichDimgen : t ^ J 
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